面向通用 Agent 强化学习的 Harness Scaling 方法
🧭 Agentic RL · Harness 缩放训练 ★ 深度解读
Gaoling School of Artificial Intelligence, Renmin University of China · IQuest Research · Beihang University
将 agent 执行 harness 因子化并正交选择 18 个训练配置，跨 harness RL 显著提升未见配置与外部黑盒泛化
📌 工作参考价值（4 点）
- 在训练搜索/推荐/电商 Agent 时，不要只用单一 harness；可对同一任务构造多个执行配置变体（system prompt、工具 schema、观察格式、上下文压缩策略、workflow 约束），提升策略对生产环境变化的鲁棒性。
- 如果 harness 组合空间过大，可用 strength-2 正交设计从组合爆炸中选训练子集，保证各组件 realization 及两两组合均衡覆盖；在固定训练预算下，这比随机采样或全量穷举更好。例如推荐 Agent 的 prompt 模板、召回通道、排序特征视图、记忆压缩等维度都可以做正交选择。
- 采用 locality-aware assignment：每个训练任务采样一个 anchor harness，再配 1-2 个 Hamming 距离最近的 harness，既保留同任务局部变化，又全局覆盖多个配置；实验表明 K=2 效果最佳，且优于随机 assignment。
- 关键结论可直接迁移：在白盒多 harness 配置上训练，迁移到未见外部黑盒 harness（如 Claude Code）的效果，优于直接在该黑盒 harness 上做 SFT 或 RL。适合冷启动、跨平台迁移、多租户 Agent 系统。
Self-Credit：通过组内重标定实现长程智能体 RL 的信用分配
🧭 Agentic RL 信用分配与上下文压缩 ★ 深度解读
Meta · New York University · Duke University
让策略模型在压缩上下文时引用关键轮次，再用同 prompt 成功/失败样本的组内对比重标定引用权重，将稀疏结果奖励转化为轮次级信用信号
📌 工作参考价值（4 点）
- 在长程 search/导购 agent 训练中，可让模型在上下文压缩时输出带轮次索引的摘要引用（要求 2-5 个 critical turns），用这些引用把统一广播的 advantage 改成轮次级加权；只需 prompt 格式约束和格式错误惩罚，不引入额外 reward model 或 critic。
- 对同一 query 的 group rollout，可按 action 的检索结果（docid 或商品 ID 集合）做 Jaccard 匹配，统计该 action 在成功/失败样本中的引用频次：只在成功侧重复出现则提权，只在失败侧重复出现则加重负优势，混合出现则取消提权。这能把“伪相关 action”从正样本中剔除，适合电商多跳搜索、商品对比、策略推荐等长程任务。
- 对重复失败的惩罚权重做线性退火（如 1.5→1.0），早期强惩罚抑制低效搜索，后期放松以保留探索，可平衡长程 agent 的工具调用效率与深度。
- 若无 gold action 标注，可用“检索到目标商品/金标文档”作为代理评估引文质量，计算 cited turns 的 F1，快速判断自生成引用是否有用。
面向长程智能体强化学习的树感知后验蒸馏
🧭 Agentic RL · 树回溯信用与后验蒸馏 ★ 深度解读
Tsinghua University · Tencent
提出 TreeOPSD，用树回溯信用构建有限目标分布，以 Forward-KL 后验蒸馏替代固定策略梯度，无 critic 地稳定长程 Agent RL
📌 工作参考价值（4 点）
- 多轮 Agent 训练的 rollout 预算优化：initialize-then-expand 用 M 条完整轨迹 + 每个轨迹 N 个前缀分支，在同样 token/工具调用预算下（M=4, N=2 约等于 8 条全 rollout）构造 rollout tree，获得 turn-level 信用；电商导购、售后客服等长程 agent 可直接用这种采样方式，不用改 reward 标注。
- 用有限目标替代固定 advantage 权重，缓解 sequential mini-batch 漂移：把每轮信用映射成伯努利教师 q=1/2+V/τ，再用 Forward-KL 匹配当前 policy 的 sigmoid 后验 p=σ(avg log ratio)；梯度会自动在目标处消失、过冲后反向，可以避免多轮更新中的 policy staleness，适合在线更新频率高的推荐策略。
- 点式 credit 比 listwise centering 更适合多臂/多子节点场景：分支后的父节点下多个有用子节点都应上升，listwise 的 V_c - V_i 会让它们互相抵消；在推荐/搜索的候选生成、多工具调用分支中，可以考虑把树 backup 后的 pointwise credit 直接作为监督信号。
- 长序列 off-policy 更新的数值稳定 trick：用 per-token 平均 log-likelihood ratio 构造 p=sigmoid(s)，避免整条 turn 的 likelihood ratio 指数爆炸；这个做法可复用到长文本/多轮交互的 policy 优化或蒸馏中。
AdCoEvo：协同进化的多智能体广告投放系统
🧭 多智能体协同进化广告投放 ★ 深度解读
中国科学院信息工程研究所 · 中国科学院大学网络空间安全学院 · 悉尼大学 · 京东
角色分工+轮换更新的多智能体广告投放系统，相比规则基线 ADV 提升 14.02%、CPA 降低 7.07%
📌 工作参考价值（4 点）
- 角色切分可复用：把广告投放拆成账户级预算规划（Planner）、单元级 tCPA 调整（Optimizer）、周期末诊断（Inspector）三个独立 LoRA 策略，按各自反馈结算周期更新。这比单 Agent 一条链路更稳定，且能分别积累运营经验。
- 在线持续学习用异步轮换：每周期只更新一个角色，其他参数冻结，用实际业务反馈（ADV/CPA）作为奖励；每个角色配一个轻量 PrefixValueModel 做 baseline 降方差，适合延迟反馈场景。
- 诊断 guidance 优于统计摘要：让 Inspector 生成结构化诊断并作为下一周期 Planner/Optimizer 的输入，实验中比固定统计摘要 ADV +1.61%、CPA −1.55%。
- 小模型+领域训练更划算：8B 模型+每角色 LoRA 的 API 成本远低于闭源大模型，且性能更好；广告投放任务组织与领域训练比模型规模更关键。
多会话智能体强化学习：分层优势估计与塑造
🧭 Agent 强化学习 · 多会话轨迹优化 ★ 深度解读
LARK, HKUST(GZ) · Foundation Model Lab, Huawei · City University of Hong Kong · HKUST
提出 Mosaic，用 session-aware 轨迹优势与 session 级边际信息增益塑造，在 BrowseComp 上超越广播基线且会话数更少
📌 工作参考价值（3 点）
- 搜索/对话 Agent 常因 query 改写、上下文压缩、子 agent 并行搜索产生多会话轨迹，RL 训练时不要简单广播轨迹奖励；可借鉴 session-aware advantage：按 outcome 分组对 session 数做居中排名，成功样本少 session 给更高优势，失败样本多 session 降低负优势，既提升样本效率又控制推理成本。
- 用 answer-likelihood 的边际信息增益做过程监督，无需额外 critic，仅需两次前向计算 log-prob；按 session 类型（普通、压缩、子代理）分别归一化，避免类型分布偏差，适合多组件 Agent 架构。
- 工程实现上，把每个 session 作为独立 training segment，聚合时保持 trajectory 级 token 权重一致，可兼容 Megatron 等多 segment 训练；对多轮搜索/电商 Agent 的长轨迹训练有直接迁移价值。
Lean4AgenticRL：可验证多层级过程奖励推进 Agentic RL
🧭 Agentic RL 多层级可验证过程奖励 ★ 深度解读
Amazon Web Services · University of Illinois Urbana-Champaign
用 Lean4 统一多层级可验证过程奖励，配合 workflow-stage-normalized GRPO 稳定提升 Agentic RL 训练效果
📌 工作参考价值（4 点）
- 把导购/搜索 Agent 的复杂任务拆成可验证的工作流 stage（如需求澄清、商品召回、排序、话术生成），为每个 stage 定义 post-condition 并用规则/轻量 LLM judge 给中间奖励，使 RL 训练信号更密。
- 对 agent 的工具调用设置 penalty-only 的低层奖励（-1/0），专门惩罚重复查询、空操作、固定占位命令等 reward hacking；不给正奖励，避免策略利用，工程上容易实现。
- 在 GRPO 中将 advantage 按工作流 stage 而不是整条 rollout 归一化，使不同轨迹中相同语义步骤可比，改善长 horizon 信用分配，适用于多轮对话推荐和搜索 agent。
- PSWF plan-then-execute 可作为轻量级 prompt 策略单独使用：先让模型探索环境生成定制化计划，再按计划执行，即使不重新训练也能小幅提升 agent 成功率，便于快速验证业务收益。
SkillScaffold：策略自适应技能效用打分与选择性注入的 Agentic RL 训练脚手架
🧭 Agentic RL · 技能训练脚手架 ★ 深度解读
浙江大学 · 中国科学院大学 · 快手科技 · 浙江科技大学
用已有 outcome 轨迹似然差做策略相对技能效用，正门控选择性注入训练期技能，推理时完全免技能
📌 工作参考价值（4 点）
- 在电商导购/搜索 Agent 训练中，可借鉴「训练时注入技能、推理时移除」的 scaffold 思路：线上不依赖技能库或额外检索，避免推理延迟和技能库维护成本；技能只是帮助训练期探索和内部化。
- 技能效用评估不要用额外环境 rollout，而是复用已有 outcome 轨迹：对比当前策略在 skill 条件与 skill-free 条件下对同一轨迹的 token 对数似然差。工程上只需缓存 skill-free scores，再对 M 个候选做 M×N 次打分，成本 O(MN)，无环境交互。
- 采用 positive gate 决定是否注入技能：只有效用估计 >0 才注入，否则保持 skill-free。这比强制注入或只按排名选择更稳定，特别适合稀疏 reward 的 multi-turn 任务；可将效用作为策略相对信号，与 query 难度、策略当前 competence 关联，实现自适应注入。
- 技能内部化可复用：让 Generator 和 Executor 共享参数，用环境 reward 更新 Executor、技能效用 detached reward 更新 Generator，通过联合训练把技能引导的策略吸收进模型参数。对低延迟线上 Agent 很实用，可在训练后丢弃技能生成通路。
RSIPO：技能与策略共进化的递归自改进Agent强化学习
🧭 Agent 强化学习 · 技能-策略共进化 ★ 深度解读
CUHK · THU · NUS · Tongji University · UW-Madison
用重放增益奖励技能生成并以经验贝叶斯校准教师信任，实现技能-策略共进化
📌 工作参考价值（4 点）
- 可借鉴「执行检查」机制到购物/搜索 Agent 技能库更新：让 Agent 从自身轨迹中改写技能，用同一初始状态下带技能重放 vs 无技能控制组的效用差作为 reward，不依赖外部 judge 模型或额外标注数据，特别适合可重置的仿真购物、离线检索沙盒。
- Type-level empirical Bayes shrinkage 对任务级重放增益降噪后再映射为教师信任系数 ωx，可直接替代 OPSD/蒸馏中均匀信任权重；电商场景中不同品类/任务类型难度差异大，按类型池化增益能减少不可靠教师信号对策略的损害。
- 对可重置环境可低成本采纳，但线上不可重置环境需额外处理；重放增加 K 次 rollout 与训练成本，可考虑只在部分任务上做执行检查、用早停或小 K 控制开销。
- 技能 reward 用「该技能增益 - 同类型平均增益」做中心化，避免绝对增益偏差，适合在在线技能更新中稳定策略梯度；无效技能用固定惩罚 ρ，且搜索类任务可设 ρ=0 防止格式不稳定。
SAIL：通过科学感知循环实现科学智能体智能
🧭 科学智能体训练循环
IQuest Research
35B总参/3B激活的开源科学智能体，用失败诊断自动生成训练任务，性能媲美更大模型
📌 工作参考价值（4 点）
- 业务 Agent 失败诊断闭环：用强模型分析业务 Agent 的失败 case，定位是检索证据选择、规划修订还是工具调用能力不足，再基于业务知识库自动生成带交互轨迹和可执行环境的训练样本，比人工标注更可规模化。
- 小模型逼近大 Agent 能力的训练组合：先做子能力 specialist SFT（如 query 改写、搜索结果筛选），再用多个 frontier model 做多教师 on-policy 蒸馏，最后接入 Agentic RL。适合电商/搜索推荐场景下用低成本模型达到大模型 Agent 效果。
- MoE 架构降低推理成本：35B 总参 / 3B 激活的设计在保持推理低延迟的同时提升多任务能力，对需要实时响应的搜索推荐 Agent 有直接参考价值。
- 搜索型任务重点优化证据选择：论文发现文献任务失败主要来自证据选择，提示可以在搜索推荐 Agent 中显式构造 query 改写、召回结果排序、引用证据一致性等训练数据，而非只依赖端到端生成。
MiMo-V2.6：面向自我改进的大规模强化学习训练
🧭 大规模强化学习训练与 Agentic RL 基础设施 ★ 深度解读
LLM-Core Xiaomi
通过扩展 RL 训练计算、任务环境与 grader 计算，在代码/通用/视觉/安全任务上稳定提升 1T 与 310B MoE 模型。
📌 工作参考价值（3 点）
- 防 reward hacking 的工程闭环可迁移到推荐/广告 RL 训练：环境清理（去缓存、隔离网络）、hack agent 对抗探测、训练中离线审计 + 作弊轨迹奖励清零，把 hack 率控制在 2% 以下，适合在线学习/探索场景。
- Groupwise advantage redistribution 思路可用于推荐模型基于 listwise/groupwise 反馈的训练：在 batch 内按质量因子对正样本重新分配 advantage，既保留成功样本梯度又惩罚低质量转化/刷指标行为，避免模型学到投机式优化。
- 大模型 RL 基础设施设计值得参考：统一 trajectory 表示、control/data plane 解耦、partial rollout + Sample Mixer 稳定多任务 batch 组成、冻结 MoE router 保证训练稳定；这些对大规模生成式推荐/Agent 在线更新有直接工程价值。
SkillForge：以动态技能生命周期协同进化技能与智能体
🧭 Agent 技能库生命周期管理 ★ 深度解读
Institute of Computing Technology, Chinese Academy of Sciences · University of California, Merced · Tsinghua University
用 fitness 驱动的技能生命周期和 LLM 变异，让技能库与 RL 策略协同进化，避免低效技能污染上下文
📌 工作参考价值（4 点）
- 技能/工具/规则库不能 append-only：在电商 Agent 或导购 SOP 库里，为每个技能维护 usage 与 success 计数，计算 fitness，并设置预退休与运行时退休机制，主动淘汰过期或低效条目，避免上下文被污染。
- 生命周期状态机可直接落地：用 trial/active/stable/retired 四态加 hysteresis（stable 先 demote 才能 retire），既保护已稳定技能不被瞬时波动误杀，又能快速淘汰长尾低质技能；generation-aware 保护期可迁移到新上线的工具或规则。
- LLM 变异可用于自动优化 prompt/SOP：按 1−fitness 加权选择低效技能作为 parent，结合失败轨迹让教师模型改写生成 trial 子技能，再通过真实反馈决定去留；这可用于电商导购话术、搜索 query 生成策略的持续自动迭代。
- 预退休阶段值得借鉴：在把外部知识、规则或技能注入线上 RL 或 SFT 数据前，先用 base model rollout 做一轮离线 fitness 评估，过滤掉低质量种子，能显著降低训练噪声，提升最终性能。
面向 Agentic 强化学习的 MoE 专家选择结构化
🧭 Agent RL · MoE 专家路由控制 ★ 深度解读
Apple · Purdue University
提出分层路由控制框架，用操作感知互信息与令牌级一致性约束，提升 Agentic RL 成功率与推理吞吐
📌 工作参考价值（3 点）
- MoE 专家选择可以用 agent 轨迹中的 operation 语义（READ/CREATE/UPDATE）做监督，电商搜索/推荐 agent 也可以按意图或工具类别进行专家对齐，提升长程任务成功率和推理速度。
- token 级一致性控制用“相邻 top-k 专家集 Jaccard 距离阈值”选择性回拉，比强制统一更稳定；可搬进多轮 search/agent rollout 中降低专家切换开销、提高吞吐。
- 添加辅助路由 loss 容易引发 RL 训练崩溃，可用 policy entropy 高低门控关闭路由梯度；这个工程 trick 对 MoE 后训练很实用。
AdaStep：智能体强化学习的自适应步级信用加权
🧭 Agentic RL 步级信用加权 ★ 深度解读
Tsinghua University · Nanjing University · Xiaomi Inc.
为GiGPO的步级优势推导逐状态收缩系数，按返回方差中信噪比自适应加权，无额外模型或rollout
📌 工作参考价值（4 点）
- 在GRPO/GiGPO式多步决策训练（如购物Agent、多轮搜索、导购对话）中，不要用固定系数融合全局与局部优势；按同一anchor state分组，用 1 - E_a[Var(R|s,a)] / Var(R|s) 估计逐状态收缩权重，可抑制下游随机噪声对局部信用的污染。
- 该权重只依赖rollout中的count/sum/sum of squares统计量，无额外前向或critic，几乎零成本；可直接嵌入现有优势计算，适合线上训练管道。
- 对不可靠组（单一动作或每动作样本不足）采用fallback w=1，而不是w=0或均值，实验中更优；说明信息不足时不要过度收缩局部信号。
- 若状态空间连续或部分可观测，直接hash锚点状态不可行，需要额外状态嵌入或聚类才能迁移；可优先在离散文本状态（如WebShop、ALFWorld风格任务）中使用。
特权表征在线策略自蒸馏用于智能体强化学习
🧭 Agent RL · 特权表示自蒸馏 ★ 深度解读
University of Florida · University of Illinois at Chicago · Case Western Reserve University · Vanderbilt University · Weill Cornell Medicine
提出 PR-OPD，用分层隐藏状态对齐替代 token 概率蒸馏，把智能体自生成技能的特权优势传给无技能策略，推理零额外开销
📌 工作参考价值（4 点）
- 在电商导购/客服 Agent 的 RL 训练中，若手头有事后信息（用户真实意图、成交/退货、人工反馈），可让同一策略先跑 GRPO，再对每条轨迹生成 hindsight skill，用无技能/有技能两次前向做 teacher；蒸馏目标用隐藏状态对齐，而不是输出 logits/KL。很多点击/转化信号是稀疏 episode reward，这样能把事后信息变为稠密监督。
- 工程实现很轻：只增加一个每层轻量 MLP projector（512 维隐藏层），teacher 与 student 共享权重，推理时丢弃 projector；不引入外部 teacher 模型、技能库或额外推理开销，适合线上部署。
- 小模型直接对齐原始 hidden state 可能崩，务必保留 projector；并且要对齐所有层而非只 last layer，因为技能信息在中间层最强；先 warm start 是关键，WebShop 上 N=120 优于 N=100，10-30 个监督步已经能拿到大部分收益。业务里可先纯 reward 训练到一定成功率，再开启表示蒸馏。
- 有些改进不会体现在 top-1/token 概率上（如 action token 概率几乎不变但隐藏状态大幅变化），所以训练日志不能只看 loss 或 token accuracy；可以通过线性 probe 诊断隐藏状态是否携带可迁移信息，再决定用表示对齐。
Qwen-Planner-Agent：面向真实移动规划智能体的闭环 AI-for-AI 框架
🧭 Agent 闭环训练与模型-Harness 协同进化 ★ 深度解读
MAI Team · Alibaba Token Hub · Alibaba Group
构建闭环 AI-for-AI 框架，通过 AI 生产数据、CARE 智能体强化学习与模型-Harness 协同进化，在 MobilePA-Bench 以 27B 取得最高综合分 77.05%
📌 工作参考价值（4 点）
- 混合环境策略可迁移到电商导购/搜索 Agent：用沙箱覆盖可复现工具调用，LLM 仿真覆盖长尾场景，少量真实设备/线上会话做高保真验证，能显著降低真实交互成本，同时保留关键执行反馈。
- CARE 的按组成功率分档值得直接借鉴：任务成功率低时给过程奖励，混合时只给结果奖励，成功后转向效率优化；并用 success-anchor 校准 advantage，避免模型为省 token 而过度压缩推理或工具调用，适合对 LLM 成本敏感的推荐解释生成、对话式搜索、商品导购等场景。
- 模型-Harness 分离设计适合工具/货架频繁变化的电商场景：模型参数不绑定具体工具清单，Scenario Adapter 按当前可用工具注入操作说明，Memory 按证据分级管理，支持大促、多租户、多行业工具切换而无需反复重训模型。
- AI-for-Data 飞轮可复用：保留失败轨迹并做能力归因，根据验证集弱点生成新任务和重采样，而不是只按原始语料频率训练；这可用于 query 改写、搜索 suggestion、推荐理由生成等任务的持续迭代优化。
Rufus-Air：开源 LLM 后训练配方
🧭 LLM 后训练全流程配方 ★ 深度解读
Amazon
公开 GLM-4.5-Air-Base 的完整后训练配方，以难度过滤和奖励可靠性排序驱动 8 阶段训练，显著超越官方 release
📌 工作参考价值（4 点）
- SFT 配比看 token 而非 sample：长轨迹类别（Math、Coding Agent）在 sample 占比不高但贡献近半训练 token。业务上做生成式模型 SFT 时，应按 loss-contributing tokens 评估数据配比，避免被 sample count 误导。
- 难度过滤作为自动课程：RL 阶段统一剔除“已解决”和“不可学”的 prompt，只保留策略当前可进步的区间，随策略提升自动滚动。此思路可直接用于电商文案生成、query 改写、Agent 工具调用的 RL 训练，减少无效 rollout 和梯度噪声。
- 按奖励可靠性排阶段：先跑可验证奖励（规则、执行测试），后跑 judge/model-based 奖励，缩短奖励被 hack 的暴露时间。多阶段 RLHF 或对齐训练时，可借鉴该顺序，把 IF 类接近已有能力的软奖励提前，把开放偏好奖励放最后。
- 基础设施也是配方：统一 chat template、token-in/token-out rollouts、Rollout Routing Replay、可靠 sandbox 服务对 MoE 稳定训练至关重要。搭建内部 RL 框架时，这些工程细节应作为一等公民，而非实现细节。
从已解机制生成可验证隐藏动态的智能体RL环境
🧭 Agentic RL 环境生成与策略训练 ★ 深度解读
Georgia Institute of Technology · Alibaba Token Foundry, Alibaba Group
先求解运筹模型再渲染为有状态工具环境，用同一参考解固定奖励，低成本生成可验证的Agentic RL训练环境
📌 工作参考价值（4 点）
- 借鉴机制优先构建：在电商/供应链场景，可用库存控制、路径规划、调度等运筹模型作为底层机制，用求解器预先算出最优值和默认策略值，生成可执行环境并归一化奖励（r=(u-u0)/(u*-u0)），避免人工标注或 LLM judge，获得可靠训练信号。
- 通过语料库 grounding 让同类机制产生多样场景：从商品文案、物流文档、活动规则等真实语料采样，让 LLM setter 生成具体工具、数据库和玩家指令，低成本扩增训练环境（每条约 $0.01–$0.03）；可迁移到电商长周期店铺运营、库存补货、多仓履约等 Agent 训练。
- 设计信息不对称接口训练主动信息获取：将需求、库存、价格等关键参数设为隐藏，要求 Agent 通过 probe 工具查询后再决策；论文显示同一模型 written-out 分数 0.962 但 agentic 仅 0.204，说明有状态交互是主要短板，训练后提升至 0.815；可在对话式导购、动态定价、客服工单处理中应用。
- 使用 GRPO 对同一环境的多条 rollout 做组内对比，配合 admission 检查（可执行性、默认奖励区间、最优解一致性）保证环境质量；同时实验表明冻结 35B setter 即可生成有效环境，无需前沿模型，可降低工程门槛。
RetireOPD：面向智能体强化学习的自适应退休在线策略蒸馏
🧭 Agentic RL 训练 · 自适应退出蒸馏 ★ 深度解读
Zhejiang University · Alibaba Group
先奖励训练特权教师，再做在线策略蒸馏，并根据教师-学生分歧与相对成功率自适应退出教师监督
📌 工作参考价值（4 点）
- RLVR 训练 agent 时，别把「prompt 里塞特权信息」当成可靠 teacher：电商/搜索 agent 常想在训练期用用户画像、SKU 知识、检索结果等 offline-only 信息做 dense 监督。该工作表明，同容量模型仅靠输入特权上下文并不一定比无特权学生强，应先用环境奖励对 skill-conditioned teacher 做一轮 RL，再冻结当教师。
- 用在线信号决定何时退出蒸馏，比固定 annealing 或两阶段切点更稳：可以监控教师-学生 token-level logprob gap 的相对变化 ρ，以及学生的 relative competence η。当 gap 停止缩小且学生成功率超过教师一定比例（如 0.9）时退出 OPD，只保留 GRPO/RL。此逻辑适合跨品类、多模型尺度训练，不用逐任务调退火步数。
- 稀疏奖励 + 特权 teacher 的组合能显著加速多轮 agent 前期学习：业务里做购物 agent、搜索交互 agent、客服多轮决策时，可以先 OPD 加速起步，再在冲突点后转纯 RL，避免教师天花板。退出后还能省掉 teacher forward pass，降低训练与后续微调成本。
- 如果离线有技能库、查询改写规则、投放策略等仅训练期可用信息，可参考其 SkillBank + keyword retrieval 方式：将特权技能作为 teacher 输入，学生部署时不依赖这些信息，适合线上 latency 敏感但训练期可用的场景。
Agent-G^2：面向 Agentic RL 的高斯引导框架
🧭 Agent 强化学习训练 · 引导深度采样
Zhejiang University · Baidu Inc. · Shandong University
用在线估计的高斯分布动态采样每个任务的专家轨迹引导深度，替代固定或逐样本探测，显著降低 rollout 成本并提升 Agent RL 效果
📌 工作参考价值（3 点）
- 在电商/搜索用 LLM Agent 做多步交互（如智能导购、商品筛选、客服对话）时，可保留专家轨迹前缀作为 warm start，但不必固定深度；借鉴高斯引导在线估计每个任务/query 的引导深度，平衡探索与专家先验，缓解稀疏奖励。
- 按任务难度聚类动态调整引导强度：将用户 query 或 session 按难度分簇，分别估计均值方差，避免“一刀切”的固定提示长度，适配长尾/复杂场景。
- 无需额外 probe rollouts，直接从策略优化已产生的 rollouts 估计分布，节省采样成本，适合在线 RL 预算有限的业务，尤其在大规模推荐/搜索 agent 调优时。
SPADE：自适应合成可执行环境中的自博弈
🧭 自博弈强化学习 · 可执行环境生成 ★ 深度解读
University of Washington · Stanford University · Northeastern University · Carnegie Mellon University · Massachusetts Institute of Technology
提出 SPADE 框架，让 LLM 在环境设计者与推理智能体双角色间自博弈，通过 hint-based regret 生成能力前沿的代码环境，实现开放自我改进
📌 工作参考价值（4 点）
- 模拟用户/环境生成：在电商多轮对话、推荐 Agent、搜索工具调用等场景，可用可执行代码环境（Gym reset/step）生成可验证的多轮交互任务，统一单轮与多轮 RL 训练。用商品数据库、用户行为日志构建沙盒，设计者生成任务，推理智能体进行工具调用；hint-based regret 自动调整难度，比固定难度或纯对抗更稳定。
- 语料库 grounding + 记忆：从真实用户日志、商品描述、搜索日志中采样作为环境生成条件，保持生成任务多样性，防止模式崩溃；用 memory buffer 存储高 regret 任务或难样本，避免重复生成已掌握场景。电商推荐中可用于生成多样化的用户目标/场景，持续提供训练信号。
- 稳定化训练技巧：双角色共享同一模型但独立优势归一化；延迟生成器更新并配合截断重要性采样；asymmetric clipping (ε_low=0.2, ε_high=0.28) 保留探索；regret 信号 floor 到 0 并混合难度锚点。这些在联合训练生成模型和策略模型的 RL 中可直接复用。
- 可验证奖励设计：工具使用环境包含状态检查和确定性 reset gate，确保任务可解且可验证；在电商多轮交互中可设计类似的成功准则检查，过滤无效环境，提高 RL 数据质量。
Agent Lightning v1.0：面向 Harnessed Agentic RL
🧭 Agentic RL 训练框架与挑战 ★ 深度解读
Microsoft · Fudan University · Zhejiang University · University of Edinburgh
系统刻画 harnessed agentic RL 的 retokenization、advantage 与 loss 归一化挑战，用 3.5k 行框架验证 coding agent 提升 14.6%
📌 工作参考价值（4 点）
- 借鉴 proxy 解耦架构：电商导购/客服 Agent 线上 harness 可直接接 RL 训练 LLM 代理，无需改动 Agent 代码即可采集训练轨迹，显著降低 train-serve skew。
- 训练样本合并不要依赖文本前缀：必须基于 token 级精确前缀判断合并，否则会引入 off-policy 偏差；资源有限时采用 best-effort merging 最实用。
- Advantage 与 loss 应在 rollout 级别计算：当 Agent 内部存在子任务、上下文摘要或 retokenization 导致一个 rollout 产生多个训练样本时，按 sample 数归一化会引入梯度偏差，建议使用 rollout-level token-mean loss。
- 工程上可复用 collocated async RL 让推理与训练共享 GPU 池，比同步约快 2x 且省卡；同时用幂等 API + 重复 LLM 请求去重处理网络重试，适合大规模 rollout 场景。
TaoLive 数字人直播 Agent 技术报告：训练 Agent 随 Harness 共同演化
🧭 直播电商 Agent 训练与 Harness 演化 ★ 深度解读
TaoLive AIGC LLM Team
HAT 通过 Harness-State Augmentation 训练紧凑模型，使直播 Agent 在低延迟下随 Harness 演化并保持通用能力
📌 工作参考价值（4 点）
- 把业务策略（Skills、Hooks、prompt、tool schemas）从模型权重中解耦，用可独立版本化的 Harness 模块做诊断-编辑-评估闭环；策略更新从重训变成小时级上线，适合电商运营规则、合规要求高频变化。
- 训练数据只覆盖单一 Harness 会让小模型记 skill 名/工具名/模板，上线后策略一改就崩；用 HSA 对 skill 名与内容、tool schema、prompt 结构、Hook 行为做任务保持扰动，构造多种 Harness 配置让模型学会读当前指令而非背固定版本。消融显示 HSA-SFT 收益远大于 HSA-RL，优先在 SFT 阶段做增强。
- General OPD 以预训练基座为 teacher，在通用指令数据上做 on-policy KL 蒸馏，能找回领域 SFT 损失的通用指令能力（IFEval +8.5），比单纯加回通用 SFT 更贴合低延迟 agent 场景。
- 低并发实时直播用单卡 H20 + MTP 投机解码可把 P95 压到 8.1s、吞吐提升 1.7x；但高并发下 MTP 收益递减，应预留副本而不是把它当高吞吐优化。Hooks/超时/降级路由做防御性深度，避免模型幻觉造成事实性风险。
面向智能体强化学习的轨迹相对事后蒸馏框架
🧭 Agentic RL · 轨迹相对事后蒸馏 ★ 深度解读
Zhejiang University · Shanghai AI Laboratory · Tencent
提出TRIAL，通过轨迹相对事后蒸馏将密集监督按轮次合理分配，显著提升多轮Agent的RL训练效率
📌 工作参考价值（4 点）
- 多轮对话/推荐Agent训练中，可用轨迹相对事后视图提供密集token级信用分配，突破GRPO仅靠结局奖励的局限
- 事后视图构造方法可迁移：将用户后续反馈（如点击、购买）作为条件化上下文，重评分已生成的推荐回复，获得符号化修正信号
- 轮次归一化权重（token加权均值=1）确保不改变整体更新强度，仅重新分配监督焦点，易于与现有RL框架（如PPO）集成
- 训练时引入事后信息，推理阶段无需任何额外模块或开销，适合在线服务部署
AgentOPSD：通过递归自蒸馏为多轮Agent提供回合级信用分配
🧭 Agent 多轮交互的回合级信用分配 ★ 深度解读
清华大学 · 浙江大学 · 美团
将自蒸馏的token级log概率差聚合成信念状态，通过贝叶斯递归更新定位关键回合，重塑轨迹级优势函数
📌 工作参考价值（4 点）
- Agent RL 训练的信用分配：电商/搜索 Agent 的任务往往多轮交互（多步检索、筛选、比较），轨迹级奖励广播会模糊关键动作。AgentOPSD 的递归信念更新提供了一种轻量替代方案：无需训练额外 critic，仅通过自蒸馏的 token 级 log 概率差来估计每个动作对最终结果的贡献，可迁移到商品搜索 Agent 或对话式推荐 Agent 的强化学习微调中。
- 自蒸馏信号的利用方式：论文演示了如何将自蒸馏的 log 概率差转化为“证据”，并用于贝叶斯更新而非直接作为损失或缩放因子。在电商 Agent 中，业务特征（如用户停留、点击等）常作为特权信息仅在训练时可用，可仿照此思路构建 teacher 分支，生成回合级证据并根据信念变化幅度动态调整优势权重，提升样本效率。
- 多轮对话/交互的鲁棒性：AgentOPSD 在长 horizon 任务上优势显著，且超参数不敏感（λ 除外）。对于广告多轮出价或多步推荐场景，该方法的衰减累积机制和基于信念状态饱和度的自适应门控（B(1−B)）同样适用，可避免早期冗余动作的噪声干扰，同时稳定训练。
- 工程实现友好：仅需一次额外 teacher 前向传播，无额外 rollout 或 critic 网络，可直接嵌入 GRPO 训练循环。对于已有 GRPO 流程的团队，迁移成本低；且开箱即用的超参数（λ=0.5, γ=0.95）提供了直接参考。
EnvACE：通过世界排练内化环境动力学用于智能体强化学习
🧭 Agent强化学习 · 世界模型内化 ★ 深度解读
Shanghai Jiao Tong University · Zhejiang University · National University of Singapore · Sun Yat-sen University · Tencent Inc.
让策略自身扮演环境生成响应，内化交互动力学，实现不依赖外部环境的智能体RL训练
📌 工作参考价值（4 点）
- 训练范式迁移：将环境响应生成的角色交给策略自身，省去构建昂贵的外部仿真环境。对于电商工具调用 Agent（查询库存、下单、修改订单）的训练，可直接用历史交互数据让模型同时学习“动作+响应”，大幅降低环境搭建成本。
- 角色明智 GRPO：对 acting 和 rehearsal 两个角色分别计算基线，但共享参数梯度更新。电商 Agent 训练时可将用户模拟、工具返回模拟作为 rehearsal 角色，与真实 action 角色联合优化，让策略更深刻理解交互因果关系。
- 测试时安全排练：在正式执行前，策略内部进行多次“想象推演”，汇总反馈后指导实际动作。适用于高风险场景（如退款、取消订单、修改支付方式），提前预测错误并修正参数，避免真实环境错误操作。
- 数据效率提升：世界排练允许在无外部反馈的条件下持续改进策略，可在离线数据上预训练 Agent，或结合少量真实交互微调，提升 RL 样本效率。
Nanbeige4.2-3B：紧凑模型中解锁通用智能体能力
🧭 紧凑通用智能体模型 ★ 深度解读
Nanbeige Lab · Boss Zhipin
3B参数的紧凑模型在代码、办公、工具使用等智能体任务上全面超越9B/12B模型，同时保持强推理能力
📌 工作参考价值（5 点）
- 多阶段 RLHF 通用化：先对 Think/Non-Think 响应混合 RLHF，能跨任务、跨模式减少循环生成与格式错误，提升推理与智能体任务的稳定性。可用于电商对话/操作型 Agent 的异常输出抑制。
- 长度控制推理 RL：离线建立长度预算+难度感知惩罚，鼓励简洁推理，可适配推荐解释或搜索推理链的延迟约束，平衡效率与效果。
- 行动级过程奖励：在 Agentic RL 中为工具调用准确性、信息增益设计逐步骤 rubrics 作为过程奖励，提供密集反馈，可迁移至交互式推荐 Agent 的长程训练，稳定多步规划。
- 混合环境数据合成：组合真实 MCP 服务、Python 可执行接口和 LLM 模拟工具，扩大轨迹多样性。电商搜索推荐系统可借鉴构建高覆盖率的仿真环境，低成本生产高质量多轮交互数据。
- Turn-level loss masking：仅对正确回合计算损失但保留错误上下文，适合训练多轮对话推荐，避免学习错误行为的同时利用完整语境恢复。
InternReviewer 与 InternAdvocate：同行评审与反驳的客观奖励与评估
🧭 Agentic RL 学术评审智能体
Shanghai AI Laboratory · Beijing Jiaotong University · Tsinghua University · Renmin University of China
用客观多维 reward 与严格引文验证训练学术评审/反驳 Agent，减少主观评判偏差和幻觉
📌 工作参考价值（4 点）
- 评估与奖励去偏：用多维客观指标（reference-anchored semantic alignment、structural compliance、citation verification）替代单一大模型打分，减少 reward hacking 和主观偏差。在生成式推荐/导购文案中，可定义商品属性一致性、结构模板、引用可验证等可计算的 reward。
- 可验证的引用日志交叉核对：将生成内容中的声明与实时检索/工具调用日志强制对齐，能直接迁移到电商 RAG 问答和商品描述生成，降低幻觉（如虚构参数、不存在的促销）。
- Agentic RL 闭环：先检索证据再生成、用严格验证作为 reward 信号，可复用为“检索-生成-校验” pipeline，适用于需要事实性的营销文案、售后应答等。
- 数据集构建：建设高质量垂直领域数据 + 高效检索工具，是提升 Agent 落地效果的基础，电商可借鉴构建商品知识库与交互日志。
教智能体停止而不仅是点击：CUA-RL的可靠性度量
🧭 Agent强化学习的方差分析与可靠报告 ★ 深度解读
Cabal AI · Para AI
发现CUA-RL结果被上游方差（数据抽取为主）误导，提出k种子报告协议并揭示修复难度由动作约束决定
📌 工作参考价值（4 点）
- 强化学习训练与评估协议：在推荐/搜索/对话Agent的RL训练中，单次运行的结果不可靠。应采用≥5个独立数据抽取×多训练种子的交叉评估，报告平均数和标准差（或IQM及分层 Bootstrap CI），避免因数据批次差异导致错误结论。
- 统一验证器提升训练效率：将任务完成验证器复用于“提示、教师、奖励、部署门控”四通道，类似在推荐系统中构建自诊断模块，可同时用于在-上下文纠正、知识蒸馏信号、稀疏奖励塑形和在线安全检查。
- 引入行为克隆安装正向动作：当策略从未采样到正确动作（如停止、罕见推荐）时，纯策略梯度无法强化它。利用验证器的蒸馏项（gated BC）注入该动作，可解决稀疏/负奖励场景下关键动作难学习的问题，类似电商推荐中引入用户明确停止信号。
- 数据抽取比种子更关键：方差分解显示训练数据批次差异是效果波动的主要来源（困难任务上占48%方差），训练种子影响小（≤10%）。在推荐系统AB测试或离线评估时，应优先控制训练数据的划分方式，而非仅关注模型初始化。
单次 rollout 异步优化：让 Agent 强化学习训练更稳更强
🧭 异步强化学习训练稳定化 ★ 深度解读
Tsinghua University · Z.AI
提出单次 rollout 异步 RL 策略 SAO，以 token 级双面裁剪和更快价值更新稳定训练，在智能体推理与编码任务上显著超越 GRPO
📌 工作参考价值（4 点）
- 单次 rollout 替代组采样适用于在线推荐/Agent 场景：线上只能获得单条反馈时，可以用训练好的价值模型做基线，而非依赖组内相对奖励。这直接解决了 GRPO 在实时环境中的部署困难。
- 直接使用 rollout log-probabilities 做重要性采样，简化异步训练架构：不需要维护策略的历史快照链，大幅降低工程复杂度，对推荐模型异步在线学习特别友好。
- 价值模型的冻结注意力训练策略：只在 MoE 层更新，注意力层冻结，能显著稳定 critic 训练并降低梯度范数。这对需要快速收敛的在线价值估计（如 bandit 或 contextual bandit）有参考意义。
- Skip-Observation GAE 处理 agent 轨迹：计算优势时跳过环境反馈 token，将价值估计限定在模型动作上，消除环境噪声。对于涉及工具调用或多轮对话的推荐 agent（如对话式推荐），可借鉴该方式只对模型可控部分进行信用分配。
TRIAGE：面向智能体强化学习的角色类型化信用分配
🧭 Agent 角色条件信用分配
LinkedIn Corporation · Harvard University · Johns Hopkins University
用角色标签（进展/探索/倒退）修正结果奖励，降低策略梯度方差，提升成功率与效率
📌 工作参考价值（4 点）
- 在对话推荐、搜索导航等智能体训练中，用结构化判断器对轨迹片段打角色标签（决定性进展、有用探索、无进展基础动作、倒退），通过固定奖励映射（如探索给+0.2，倒退给-0.5）注入片段级过程奖励，直接纠正 GRPO 的结果监督偏差，无需训练价值模型。
- 即使任务失败，也可对探索行为给予小额正奖励，防止 GRPO 因统一惩罚而抑制智能体尝试新动作，从而在复杂交互环境（如商品搜索、多步决策）中维持探索。
- 重点检测成功轨迹内的倒退动作（如重复点击、无效页面回退），并施加惩罚，能使策略学会更短路径完成任务，在实验中成功轨迹轮次额外减少约 10-15%，可直接用于优化电商智能体效率。
- 该方法不需要学习奖励模型，只需一个可靠的角色分类器（可用 LLM 实现），工程成本低，适合快速集成到现有 GRPO 训练流程中。
面向全模态理解的主动感知即推理
🧭 Agent 主动感知与推理优化
The Chinese University of Hong Kong · Shanghai Jiao Tong University · Qwen Team, Alibaba Group · Nanyang Technological University
提出OmniAgent: 首个将长视频理解建模为POMDP迭代循环的原生全模态代理，通过按需主动感知与Agentic RL实现推理-时长解耦和测试时正拓展
📌 工作参考价值（4 点）
- 按需多模态信息抽取：电商直播、商品讲解长视频中，可借鉴“观察-思考-行动”循环设计代理，仅针对用户咨询动态提取关键音视频片段，大幅降低首响延迟与计算开销，同时保持全量信息的可访问性。
- Agentic RL 功劳分配：TAURA 利用回合级熵值将奖励集中于关键发现回合，适合多轮对话推荐、用户意图探索等序列决策场景，有效抑制无意义探索噪声，提升在线学习效率。
- 持久文本记忆解耦：将视觉、听觉等多模态原始数据实时蒸馏为可压缩、可检索的文本记忆，在用户意图漂移或长会话推荐中维持轻量、可扩展的状态跟踪，避免上下文窗口堆砌。
- 测试时正拓展策略：通过动态增加推理轮数提升复杂 query 的推荐/回答质量，可移植到交互式推荐系统的自适应深度推理，实现“思考越久，推荐越准”的效果。
Interactor：面向搜索广告的代理RL迭代描述生成框架
🧭 Agent RL优化广告描述生成 ★ 深度解读
Baidu Inc.
多轮迭代生成框架，利用生成奖励模型的细粒度反馈强化学习，显著提升广告描述的知识性与忠实度
📌 工作参考价值（4 点）
- 将单轮生成改为多轮迭代，利用细粒度反馈（不仅是标量奖励）修正错误，可迁移到商品详情页、推送文案等长文本生成，提升内容质量。
- 基于规则的生成奖励模型（GenRM）能输出二分判断和结构化推理，可作为自动内容审核或AIGC质量保障组件，在电商文案评估中直接复用。
- 在生成式推荐中引入外部知识检索（如搜索引擎），将检索结果作为上下文补充，类似RAG但通过RL优化融入生成循环，可增强商品描述的知识准确性。
- 代理RL训练采用GSPO算法，仅对动作token计算梯度并屏蔽环境token，适合大规模异步训练，对同类多步交互生成场景（如对话式推荐）有工程参考价值。
基于过程的Agent策略优化：从粗粒度分支到细粒度决策点
🧭 Agent强化学习 · 过程优化 ★ 深度解读
University of Science and Technology of China · AMAP, Alibaba Group · Southern University of Science and Technology
通过细粒度决策点分支与未来感知信用分配，提升Agent强化学习的探索效率与最终性能
📌 工作参考价值（4 点）
- 分支位置选择：不要固定在工具调用或工作流边界，可以在整个思维序列中根据 Branching Score（token 熵 + 未来似然增益）选取影响下游的高价值 token 进行分支，能更高效地发现关键推理转折点，适合多轮搜索 Agent 的训练。
- 过滤虚假高熵：组合未来 continuation 的 policy-induced likelihood gain 可过滤掉仅因词汇稀少导致的高熵 token，只保留真正具有决策影响力的位置，避免在无关 token 上浪费分支预算。
- 双组优势估计：初始 rollout 与分支 rollout 由不同策略生成，混合计算优势会引入偏差；分别计算组内相对优势（dual-group advantage）能稳定训练，可借鉴到带在线采样的推荐链路优化中。
- 未来感知的信用分配：额外引入的未来感知优势项（基于 Ω 裁剪）对下游影响大的决策点赋予更高信用，鼓励对后果敏感的位置进行探索，可应用在长序列多步推荐的策略梯度中。
TRACE：统一的多轮智能体强化学习 rollout 预算分配框架
🧭 智能体强化学习 · 树形 rollout 分配 ★ 深度解读
Tsinghua University · Tencent
将 rollout 预算分配到更可能产生混合奖励的 prompt 根和交互前缀，提升智能体 RL 样本效率。
📌 工作参考价值（4 点）
- 预算分配的层级化思路可以迁移到电商 Agent 对话流：区分 prompt 层面（用户 query）和中间状态（已执行工具、已获取信息）的扩展价值，在 Agent 解决用户问题的多轮交互中，对关键决策节点（例如调用搜索 API 前、首轮价格查询后）进行分支探索，避免在确定性高的步骤浪费采样。
- 轻量级前缀价值预测器设计直接可复用：用同一预测器估计 prompt 和中间前缀的条件成功概率，以递归树监督的 MSE 回归训练，与下游策略优化解耦。在构建购物助手等 Agent 时，可以搭建类似的“关键难度”预估模块，指导何时对模型输出进行多次重采样或多路展开。
- 树形 rollout 生成的工程化实现：采用“初始化-扩展”两阶段策略（先完成所有 bare rollout，再按 prompt 本地化扩展前缀），能贴合并行推理引擎，减少跨 prompt 等待。对于高并发线上 Agent 服务，设计 budget 分配时考虑前缀展开的本地化以减少通信开销是重要参考。
- 混合奖励对比激活更新的视角：明确只有锚点后代同时出现成功与失败时梯度才有效，因此在生成式推荐或电商搜索 Agent 的训练中，可以有意识地构造成对对比样本（同一前缀下的不同推荐结果），放大有效学习信号，避免在单一结果上浪费计算。
StepPO：面向智能体强化学习的步骤对齐策略优化
🧭 智能体强化学习 · 步骤级策略优化 ★ 深度解读
University of Science and Technology of China
将智能体RL从令牌级MDP重构为步骤级MDP，通过步骤级信用分配和重要性采样，显著提升多步交互任务性能。
📌 工作参考价值（4 点）
- 步骤级信用分配适用于多步交互场景：在电商搜索、多轮对话推荐等需长链路决策的任务中，将信用分配到具体交互步骤（如搜索、点击、信息获取）比平铺到所有token更能识别关键动作，可直接借鉴步骤级GAE取代令牌级或轨迹级优势估计。
- 步骤级重要性采样稳定多token动作更新：当智能体每步生成多个token时，采用几何平均重要性比率可避免长动作的极端梯度，适合业务中工具调用、长文本生成等场景，直接应用于PPO更新。
- 工程上采用步骤原生轨迹表示：训练框架以步骤为单元存储状态、动作、奖励，实现更紧凑的上下文管理与前缀复用，能降低多步交互的推理与训练成本，适合生产环境异步训练与混合智能体管理。
- 对架构与数据管线的启示：通过网关+数据池解耦智能体与训练系统，支持异构智能体（规则、黑盒、白盒）异步贡献轨迹数据，可迁移至多来源推荐/客服智能体的持续优化。
EvoTrainer：自主训练中策略与诊断羁绳的共进化框架
🧭 自动化训练 · 共进化诊断 harness ★ 深度解读
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences · Tongyi Lab, Alibaba Group · Alibaba Group · SUAT
提出 EvoTrainer，让训练诊断 har ness 随策略共同进化，在 SWE/Math/Coding 上超越人工 RL 基线
📌 工作参考价值（4 点）
- 训练诊断基础设施的持续进化：在推荐系统模型迭代中，可引入版本化的监控指标（如 CTR、留存）和诊断分析器，当业务指标停滞时，自动探测新瓶颈（如曝光偏差、用户群体差异），触发诊断升级。
- 持久化训练技能库：积累已验证的调参机制（如方差过滤、长度惩罚），跨项目复用，类似 StdGroupFilter 在 SWE→Math/Coding 的迁移，可构建推荐场景的“策略模板库”。
- 避免纯 score 驱动的短视自主迭代：通过引入行为层诊断（如用户行为序列检查、重复曝光统计），防止虚假高分模型被错误提升，类似 Git 泄露审计。
- 版本化实验管理与回溯：保留完整训练谱系和干预记录，便于事后归因，为自动实验平台提供审计和演绎能力。
技能重用即压缩：提升LLM智能体泛化性的RL训练方法
🧭 Agent RL训练 · 技能重用压缩 ★ 深度解读
Arizona State University · University of Pennsylvania · University of Southern California
提出REUSERL，基于MDL原则惩罚非结构化行为，强制智能体学习可重用技能模式，显著提升分布外泛化
📌 工作参考价值（4 点）
- 对话/推荐策略训练：将行为序列压缩奖励引入RL训练，可避免策略陷入任务特定捷径，强制重用高频子模式，提升多轮对话或推荐策略的泛化性。
- 用户行为技能挖掘：借鉴BPE在线字典构建方法，从成功交互轨迹中提取高频行为组合作为“技能”，用于奖励塑形或离线意图挖掘，在电商用户路径分析中可挖掘稳定购物模式。
- MDL作为正则项：在LLM生成式推荐或Agent策略优化中，可引入描述长度正则，不仅压缩模型参数，还压缩行为序列本身的复杂度，迫使模型学习紧凑、可解释的决策逻辑。
- 鲁棒性提升：通过惩罚idiosyncratic行为，可缓解强化学习训练中的“推理坍塌”，避免策略因为过度优化单次成功率而遗忘泛化模式，适合需要应对多样化用户需求的长程任务场景。
Skill0.5：面向智能体强化学习 OOD 泛化的技能内化与利用联合优化
🧭 Agent 技能训练 · 内化与利用解耦 ★ 深度解读
East China Normal University · Meituan
提出难度感知路由，将一般技能内化与任务特定技能动态利用解耦，显著提升 LLM 智能体在 ID 与 OOD 场景下的成功率。
📌 工作参考价值（4 点）
- 区分一般技能与任务特定技能：在业务 Agent（如客服、导购）中，可将通用对话策略或跨域推理技能内化到模型，同时动态检索并利用不断更新的业务规则或话术，避免全量外化带来的 prompt 膨胀和全量内化导致的知识冲突。
- 难度感知路由思路：根据任务成功率自动分配优化策略——硬任务用特权技能做蒸馏，中等任务强化学习，简单任务强制使用技能防止捷径学习。这种课程式调度可用于多轮对话 Agent 训练，提升对长尾和新场景的适应。
- 抗捷径学习诊断：通过剥离特定技能后的性能对比（utilization gain）量化技能依赖，并对绕过技能的行为施加负向梯度，可迁移到基于技能/工具调用的 Agent 训练中，确保模型真正学会利用外部能力而非记忆表面模式。
- 解耦训练与推理上下文：训练时利用一般技能进行知识蒸馏，推理时仅保留精简的特定技能，兼顾能力深度和推理效率，可直接用于电商问答、智能推荐对话等对延迟和 token 成本敏感的场景。
基于在线策略知识边界增强的高效智能体强化学习
🧭 Agent 工具调用效率优化 ★ 深度解读
Tencent Inc · The Chinese University of Hong Kong · Shenzhen MSU-BIT University
通过在线双路径 rollout 探测知识边界，构建细粒度监督信号，在不牺牲准确率的前提下减少冗余工具调用 18%。
📌 工作参考价值（4 点）
- 在 Agent RL 训练中引入双路径（with-tool / no-tool）rollout 来动态评估模型是否真正需要工具，这一探测机制可直接用于电商对话 Agent 或推荐 Agent 的工具调用决策，避免因盲目调用搜索、计算等工具而增加延迟和成本。
- 将问题按知识边界分为四类（Tool‑dependent / Efficiency / Hallucination / Both‑wrong）并差异化构建监督信号，这种细粒度策略可迁移到多智能体协作或生成式推荐场景，用于优化不同情境下的资源调度与动作选择。
- 该方法作为即插即用模块，与 GRPO / DAPO / GSPO / AEPO 等多种主流 Agentic RL 算法兼容，无需修改奖励函数或优化流程，适合在现有业务 RL 训练框架上快速叠加实验。
- 训练过程中轨迹类别的分布变化（如 Efficiency 比例上升）可作为知识内化的可解释指标，帮助监控 Agent 对工具依赖的演化，为线上策略调整提供信号。
MiniMax-M2 系列：以小激活释放最大真实世界智能
🧭 MoE 架构与 Agent RL 训练协同设计 ★ 深度解读
MiniMax
以仅 9.8B 激活参数的 MoE 架构，通过 agent 原生数据管道和 RL 系统达到 agentic 前沿性能，并初步实现自进化。
📌 工作参考价值（4 点）
- 稀疏 MoE 设计：256 细粒度专家，sigmoid gating 和可学习偏置大幅降低辅助损失，每 token 仅激活 8 个专家。在电商推荐中可用于生成式模型，兼顾大容量与低推理成本，其负载均衡策略可迁移到多任务学习。
- Agent RL 训练系统 Forge：训练-推理-agent 解耦，支持白盒/黑盒 agent，用窗口化 FIFO 和前缀树合并吸收长短轨迹差异。可直接复用到多智能体推荐系统的强化学习组件，提升离线策略优化效率。
- 可验证轨迹数据合成：用 GitHub PR 构造 SWE 任务，Docker + 测试用例提供硬奖励；AppDev 采用专家 meta query + Agent-as-a-Verifier 三层验证。推荐系统可借鉴“可执行验证”思想，为商品文案生成等任务自动合成带奖励的高质量数据。
- 自进化能力：M2.7 能自主调试训练、修改自身 scaffold，展示从训练到部署的自动化闭环。可用于推荐模型的在线自动纠错、特征自动更新等运维场景，减少人工介入。
EnvFactory：通过可执行环境合成与鲁棒RL扩展工具使用智能体
🧭 Agent 工具使用训练环境与数据合成 ★ 深度解读
LARK, HKUST (GZ) · Huawei Technologies Co., Ltd · University of Cambridge · UCL · HKUST
全自动构建有状态可执行工具环境并生成自然多轮隐式意图轨迹，高效训练工具使用Agent
📌 工作参考价值（4 点）
- 电商代码沙盒环境自动化构建：借鉴EnvFactory的Search-Code-Test多Agent协作，可针对电商核心API（商品搜索、下单、物流查询等）自动生成可执行的MCP服务器，用于训练智能客服或购物助手，确保执行可靠且状态隔离。
- 自然隐式意图的多轮数据合成：拓扑感知采样与校准细化策略可将多个API调用链转换为含歧义、省略参数的真实用户请求，例如“帮我查一下最近那个订单”，要求Agent自行推断订单ID。这种数据对训练Agent的上下文推理能力十分有效，可直接用于电商场景SFT数据增强。
- 复合奖励函数设计：论文提出的轨迹匹配奖励 + 最终状态等价奖励 + 长度惩罚的复合RL奖励框架，可避免单一奖励偏差。在电商智能体中训练工具调用策略时，可保证正确执行的同时控制冗余工具调用。
- 资源高效训练范式：仅用85个环境、2500+条轨迹即可大幅提升小模型（1.7B/4B）的多轮工具使用能力，为电商业务中快速迭代、低成本训练提供参考：优先保证环境验证质量与轨迹自然度，而非盲目追求数量。